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容器 云 多 维 资源 利用 率 均衡 调度 研究 
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摘 要 : 基于 Docker 的 容器 云 技术 是 当前 研究 的 热点 ,容器 云 中 资源 的 调度 策略 对 数据 中 心 资源 利用 率 和 集群 性 能 
具有 决定 性 作用 。 在 OpenShift 容器 云 平 台 上 针对 其 调度 策略 进行 研究 和 改进 ， 提 出 了 基于 多 维 资源 空闲 率 权 重 的 
评价 函数 和 调度 方法 。 该 方法 综合 考虑 物理 节点 CPU、 内存、 磁盘 、 网 络 带 宽 空 闲 率 和 已 部 署 的 容器 应 用 个 数 等 因 
素 , 并 用 模糊 层次 分 析 法 FAHP(fuzzy analytic hierarchy process) 自 动 建 模 求 解 容器 应 用 多 维 资源 权重 参数 。 实 验 表 明 ， 
新 的 调度 方案 能 够 使 集群 多 维 资源 利用 率 更 加 均衡 ， 从 而 提升 资源 的 利用 率 和 集群 性 能 。 
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Container cloud multi-dimensional resource utilization balanced scheduling 


Gong Kun, Wu Yongwei, Chen Kang 
(Dept. of Computer Science & Technology, Tsinghua University, Beijing 100084, China) 


Abstract: Docker-based container cloud technology is the current research hotspot. The scheduling strategy of resource in 
container cloud is decisive for data center resource utilization and cluster performance. On the OpenShift container cloud 
platform, the scheduling policy is researched and improved, and the evaluation function and scheduling method based on the 
multi-dimensional resource idle rate weight are proposed. It considered the factors of CPU, memory, disk, bandwidth and 
the deployed container applications on the physical machines, used the FAHP (Fuzzy Analytic Hierarchy Process) to 
automatic modeling and solving the muti-dimensional reosurce weighting parameters of the container applications. 
Experiments show that the new scheduling enables the cluster multi-dimensional resources utilization more balanced, 
improves resource utilization and cluster performance. 
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0 引言 种 将 应 用 需求 和 物理 计算 资源 建 模 ， 减 少 所 需 物 理 服务 器 
的 数量 来 提升 资源 利用 率 ; 文献 [8] 提 出 了 一 种 基于 市 场 经 济 
Docker 容器 叫 虚 拟 化 技术 日 益 发 展 ， 己 经 成 为 当前 容器 的 计算 资源 分 配 策略 。 然 而 ， 针 对 容器 云 中 容器 的 调度 研究 
技术 的 代名词 。 与 传统 的 虚拟 机 相 比 ，Docker 是 一 种 共享 操 ”不 多 ， 传 统 的 调度 方式 不 能 充分 考虑 容器 的 特点 ， 往 往 造成 
作 系 统 内 核 的 虚拟 化 解决 方案 。 基 于 Docker 的 虚拟 容器 容器 云 资 源 利用 率 不 高 和 负载 不 均衡 。 容 器 云 中 资源 的 调度 
(container) 和 宿主 机 (Host) 在 共享 系统 资源 的 同时 能 实现 容器 主要 依靠 容器 编排 实现 ， 不 同 的 编排 引擎 对 容器 的 管理 和 调 
间 的 隔离 ， 多 个 容器 间 互 不 影响 。 应 用 打包 到 容器 中 可 以 移 度 不 同 ， 其 调度 方式 主要 有 三 种 典型 的 实现 方式 : 
植 到 任何 平台 上 实现 快速 的 启动 、 部 署 和 交付 ， 容 器 中 虚拟 a) 集中 式 的 调度 。 整个 集群 状态 存储 在 唯一 的 调度 实例 
磁盘 IO 和 CPU 的 性 能 甚至 接近 宿主 机 中。 随 着 容器 大 规模 中 ， 使 用 集中 的 、 单 一 的 调度 算法 来 调度 所 有 的 作业 ， 如 
集群 管理 技术 的 日 渐 成 熟 ， 如 Kubernetes、Mesosphere 和 Docker 的 容器 编排 引擎 Fig、Machine 和 Swarmil9 
Docker SwarmDl 等 主流 的 容器 管理 技术 发 展 ， 基 于 容器 虚拟 b) 两 层 调度 模型 。 将 资源 调度 和 作业 调度 分 开 ,， 资 源 调 
化 技术 的 PaaS(platform as a service) 平 台 逐 渐 成 为 下 一 代 云 。” 度 器 只 负责 资源 的 分 配 ， 具 体 的 作业 调度 由 独立 的 作业 调度 


计算 的 核心 。 各 大 互联 网 公司 正 逐 渐 使 用 容器 蔡 代 传 统 的 虚 框架 完成 ， 如 Mesos0010 和 Hadoop YARN 调度 。 

拟 机 ， 出 现 了 一 大 批 基于 容器 化 技术 的 容器 云 ， 如 Google c) 共享 状态 资源 调度 。 个 调度 器 拥有 对 全 部 资源 的 

Container Engine、OpenShift 等 。 访问 权限 ， 根 据 自 身 调 度 方案 进行 自由 的 竞争 ， 实 现 调度 器 
容器 云 中 资源 调度 器 对 集群 的 性 能 和 资源 利用 率 起 到 决 的 高 并 发 和 高 可 扩展 性 ,如 Brog、Kubernetest!4 等 。 

定性 作用 ， 是 容器 云 的 核心 。 传 统 虚 拟 机 式 的 云 计算 集群 对 基于 Docker 容器 虚拟 化 技术 的 PaaS 层 OpenShift 容器 

调度 策略 已 有 相当 多 的 研究 内， 主要 集中 在 降低 系统 能 耗 、 云 平台 使 用 Kubernetes 进行 容器 管理 和 调度 ， 其 资源 调度 方 


集群 服务 器 的 负载 均衡 、 提 高 数据 中 心 资源 利 用 率 和 基于 经 。 式 正 是 共享 状态 资源 调度 模型 。 但 是 ,， OpenShift 容器 云 平台 
济 学 管理 模型 等 几 个 方面 。 文献 [5] 提 出 一 种 根据 虚拟 机 负载 。 默认 调度 方式 只 考虑 CPU 和 内 存 的 因素 , 并 未 根据 当前 部 署 
动态 调节 处 理 器 电压 来 降低 集群 能 耗 ; 文献 [6] 提 出 来 一 种 中 用 的 特性 和 当前 节点 已 有 的 应 用 部 署 数量 进行 调度 ， 造 成 
心平 衡器 的 平衡 算法 来 均衡 集群 服务 器 的 负载 ; 文献 [7] 提 出 资源 利用 率 不 高 和 负载 不 均衡 。 不 同 容器 应 用 对 资源 的 需 
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求 不 同 , OpenShift 仅 考虑 几 个 单一 因素 的 调度 方案 不 能 实现 、 本 时 可 有 
给 评分 函数 fi 的 权重 ，f 是 第 j 个 评分 函数 。 寺 芯 

多 维 资源 利用 率 的 负载 均衡 ， 容 易 造 成 容器 云集 群 中 某 些 节 评分 函数 方 的 权 是 第 j 个 评分 函数 。 目 前 支持 的 优 
点 过 载 ， 从 而 产生 资源 浪费 和 负载 不 均衡 。 先 级 评分 函数 主要 有 以 下 几 种 : 

针对 OpenShift 默认 调度 方式 存在 的 问题 ， 本 文 提 出 了 a) LeastRequestedPriority 函数 。 节 点 空闲 资源 与 节点 资 

一 种 新 的 调度 方案 和 函数 评价 体系 。 该 方法 将 函数 评价 体系 源 总 量 的 比值 , 即 (( 节 点 资源 总 量 -节点 上 已 使 用 资源 量 -新 应 

分 为 空闲 率 评 分 和 反馈 评分 两 个 模块 ， 综 合 考虑 物理 节点 资源 需求 )/ 总 容量 ) 来 决定 。CPU 和 内 存 具 有 相同 权重 值 ， 

CPU、 内 存 、 磁 盘 、 网 络 带宽 空闲 率 和 已 部 署 的 容器 应 用 个 空闲 资源 越 多 ， 评 分 越 高 ， 取 CPU 和 内 存 评 分 的 均值 。 
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全 

数 
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数 等 因素 。 通 过 感知 用 户 的 资源 需求 ， 利 用 FAHP 模型 对 b) BalancedResourceAllocation 函数 。 该 平衡 函数 必须 和 
用 多 维 资源 需求 建 模 和 动 求解 满足 模糊 判断 矩阵 一 致 性 LeastRequestedPriority 评分 函数 一 起 使 用 。CPU 和 内 存 使 用 
检验 的 多 维 资 源 权重 参数 。 将 资源 权重 参数 应 用 到 评价 函数 率 越 接 近 的 节点 评分 越 高 ， 用 于 简单 的 调节 在 部 署 Pod 应 用 
中 ， 选 择 评 分 最 高 的 节点 作为 调度 目标 节点 。 新 调度 方案 后 各 节点 的 CPU 和 内 存 资 源 利 用 率 的 均衡 性 。 
够 使 集群 资源 负载 更 加 均衡 ， 提 升 集群 资源 利用 率 。 c) SelectorSpreadPriority 函数 。 为 了 更 好 的 应 对 灾难 和 罕 
ee 机 ， 对 于 属于 同一 个 Service、replication controller 的 Pod 副 
| OpenShit 本 ， 尽 量 调度 到 不 同 的 节点 上 。 
1.1 OpenShift 调度 流程 此 外 ， 调 度 函 数 还 包括 NodePreferAvoidPodsPriority、 
OpenShift03 是 红 帽 公司 提供 PaaS 层 容 器 云 平台 ， 支 持 NodeAffinityPriority、 TaintTolerationPriority、EqualPriority、 
多 种 开发 语言 和 框架 ， 人 允许 开发 者 或 开发 团队 在 此 平台 上 快 ImageLocalityPriority、MostRequestedPriority 等 一 系列 特殊 的 
速 创 建 、 测 试 、 部 署 以 及 运行 应 用 ，OpenShift 私有 云 平台 评分 函数 。OpenShift 官方 文档 详细 解释 目前 支持 的 评分 函数 
对 容器 应 用 默认 调度 流程 如 1 所 示 。 客 户 端 Web Browser 和 ”和 各 函数 的 评分 计算 方法 。 
Kubectl (Kubernetes command-line tools) 首 先 向 API Server 发 A We 
送 特定 的 应 用 请 求 如 创建 Pod、 然 后 API Server 将 用 户 请 求 ”2 ”改进 资源 优先 调度 策略 
的 响应 处 理 结果 存储 到 Etcd 中 。 调度 器 在 API Server 响应 完 2.1 改进 后 的 优先 调度 流程 
成 后 从 未 调度 的 Pod 队列 中 弹出 一 个 Pod 对象、 接 下 来 有 两 OpenShift 容器 云 平台 默认 的 调度 算法 过 于 简单 , 不 能 满 
个 阶段 的 工作 。 第 一 阶段 : 预选 节点 。 检 查 每 个 物理 Node 足 生 产 环境 中 用 户 多 样 化 的 调度 需求 。 其 优选 阶段 仅 考虑 
节点 是 否 满足 Pod 的 资源 需求 ， 主 要 包括 包括 端口 冲突 、 CPU 和 内 存 的 空闲 率 会 造成 物理 机 的 其 他 维度 资源 过 度 消 
CPU、 内 存 容 量 检测 、 服 务 占 用 等 ， 淘 汰 不 满足 需求 的 物理 耗 ， 如 磁盘 、 带 宽 等 ， 物 理 节 点 将 不 能 部 署 更 多 的 应 用 ， 从 
节点 。 第 二 阶段 : 优选 节点 。 将 剩余 的 节点 根据 CPU 和 内 存 而 使 数据 中 心 产生 巨大 的 资源 浪费 。 然 而 ， 数 据 中 心 的 应 用 


浪 


空闲 资源 率 进 行 综合 的 评分 ， 按 照 评分 的 大 小 排序 ， 选 出 最 ”类 型 可 以 根据 应 用 请 求 资源 的 类 型 和 比重 进行 识别 ， 已 出 现 
合适 的 节点 。 最 后 将 Pod 绑 定 到 选 出 的 目标 Node 节点 上 ， 很 多 云 应 用 识别 模型 ， 主 要 包括 CU、 内存、 磁盘 和 网 络 密 
调度 器 完成 容器 应 用 一 次 调度 。 集 型 等 应 用 0549。 此 外 、 默 认 调 度 器 采用 静态 资源 分 配方 式 ， 
| 应 用 在 创建 时 申请 好 资源 ,不 能 随 应 用 的 实际 需求 进行 调整 。 
' -| ， 改进 后 优先 阶段 使 用 全 新 的 评价 函数 体系 对 各 节点 资源 空闲 
; [一 | 一 一 一 |， 。 率 进 行 评分 计算 ,选取 最 合适 的 节点 进行 应 用 和 节点 的 绑 定 ， 
上 | me | 改进 调度 流程 如 图 2 所 示 。 
1 1 | 调配 | 
。 \ | Predicates I EEC 
En ! kubelet | | Node Node ts 
| | | 一 国 … ) ponies | | | 
see pod ps | Nose! | [ Nosem ] Pod<c、m、v、b> 
Node Pod | 
| | 1 | ， Hash Table 
1 一 -| ) Not found 
图 1 OpenShift 调度 流程 Information New Priorities Existed 

Fig. 1 OpenShift scheduling process Storage Funelions 

1.2 OpenShift 调度 算法 Priorities 
如 图 1 所 示 ，OpenShift 的 Kubernetes 容器 调度 引擎 中 Brno 

Scheduler 作为 一 个 可 插 拔 的 调度 模块 1, 用 户 可 以 很 轻易 地 Nodei | [oa | 
进行 二 次 开发 ， 扩 充 调 度 算 法 库 。 调 度 器 相对 于 普通 用 户 像 
一 个 黑 盒 ， 节 点 的 资源 状态 和 未 调度 应 用 需求 作为 输入 ， 输 图 2 改进 后 Priorities 部 分 调度 流程 
出 物理 节点 和 应 用 的 绑 定 策略 。 其 调度 算法 中 最 重要 的 两 个 Fig. 2 Improved Priorities part scheduling process 
阶段 分 别 是 Predicates( 预 选 ) 和 Priorities( 优 选 )。 预 选 通过 判 预选 阶段 从 集群 P 个 节点 中 选 出 满足 资源 需求 的 M 个 节 
断 节点 资源 是 否 满足 需求 ， 筛 选 掉 不 合适 的 节点 。 优 选 则 通 点。 将 应 用 的 需求 和 满足 的 节点 作为 输入 , 查询 hash 表 中 该 
过 对 剩余 节点 使 用 一 系列 的 优先 函数 进行 权重 打分 ， 选 出 评 应 用 是 否 以 前 被 创建 过 , 如 果 在 满足 资源 的 节点 上 被 调度 过 ， 
分 最 优 的 节点 。 其 最 终 得 分 如 式 (1) 所 示 。 直接 绑 定 该 节点 和 应 用 ， 调 度 结束 。 这 对 于 重复 的 应 用 调度 

Si=(Wxf)+(w xf)+.+(w, x f,) (1) ”可 以 节省 调度 计算 时 间 和 缩短 应 用 的 启动 时 间 ， 部 署 过 的 应 
其 中 s 是 预选 后 剩余 节点 Node 的 第 i 个 节点 最 终 得 分 , ww 是 用 镜像 文件 避免 重复 下 载 。 否则 ， 进 入 新 的 函数 评价 模型 。 
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信息 存储 模块 存储 所 有 物理 节点 当前 已 部 署 的 Pod 数量 、 应 


用 的 磁盘 和 带宽 需求 。 未 调度 的 Pod 和 各 节点 的 资源 情 ; 
以 通过 API Server 获取 ， 输 入 到 新 的 函数 订 
评价 函数 对 各 节点 进行 最 终 评分 ， 


评分 最 


适 的 节点 ， 应 用 绑 定 到 节点 。 
2.2 全 新 函数 评价 模型 
改进 OpenShift 资源 调度 的 关键 在 于 改进 优选 函数 评价 


方式 。 
本 文 根 据 应 | 
的 数量 

提出 了 


由 于 OpenShift 默认 调度 只 
的 特性 加 入 磁盘 、 网 络 带宽 和 


作为 评分 的 依据 ， 给 预选 出 来 的 节点 进行 综合 评分 。 


考虑 CPU、 


F 价 体系 中 ， A 


高 的 节点 就 是 
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内 存 的 空闲 率 ， 


己 部 署 Pod 应 用 


车 于 多 维 


资源 空 


(multidimensional 


块 。 资 源 3 


闲 资 源 数 量 


高 评分 越 高 。 


度 ， 资 源 之 间 利 月 
之 和 ， 


a) 定义 多 维 


昌 越 均衡 订 


资源 需求 的 物理 


节点 数量 


单个 物理 节点 
磁盘 和 网 络 带 


方式 表示 为 R= 


种 资源 的 使 用 量 。 


表示 容器 应 | 


DD 种 资源 ， 在 本 模型 中 ， 共 
宽 四 种 资源 ， 因 此 D=4。 和 集群 


yp 一 、 dd id Ld 甘 d 
资源 表示 为 S=(s ,9 ,5 .sdeD， 其 中 s 表 


第 d 种 资源 类 型 总 量 。 


闲 率 权重 的 调度 方案 
resource weight Scheduling)。 
数 体系 可 以 分 为 两 部 分 : 多 维 
空闲 模块 表示 该 节点 空 
反馈 模块 表示 该 节点 多 维 资源 利 
分 越 高 。 最 终 的 得 分 定义 为 两 者 
在 描述 新 的 函数 评价 模型 之 前 ， 先 给 
符号 的 定义 和 公式 解释 。 
资源 的 符号 表示 。 假 设 经 


m 台 ， 用 N=(n， 


过 预选 后 满足 应 用 


MRWS 
最 终 的 评分 函 


资源 空闲 率 评 分 模块 和 反馈 模 


， 资 源 空闲 率 越 
j 率 的 均衡 程 


出 一 些 模型 基本 


n,m.n,) 表示。 


有 CPU、 内 存 、 


中 物理 节 ， 点 总 的 


示 节 点 i 拥有 的 


E -rep 
= (5) 
其 中 : Kf 表示 节点 i 部 署 p' 后 资源 第 d 维 资源 空闲 率 。 

e) 反馈 模块 评分 函数 。 反馈 模 块 表 示 多 维 资源 的 使 用 均 
衡 程 度 ， 各 维 资源 使 用 越 均 衡 ， 反 馈 模 块 评分 越 高 。 其 最 终 
评分 函数 b 如 式 (6)~(8) 所 示 。 

n=)/D+D (6) 

k= (PK)/m 07) 

oF)/m (8) 

其 中 : b 表示 反馈 模块 的 最 终 评 分 。K* 表示 所 有 符合 资源 需求 


的 m 个 物理 节点 上 第 d 维 种 资源 空 


闲 率 的 均值 ，c, 表示 pod 


资源 空闲 率 的 均值 。 因 此 ，K" /ke 就 可 以 用 来 衡量 i 节点 第 d 


维 资源 空间 率 在 整个 集群 中 不 均衡 性 。 比 值 越 大 ， 表 示 该 节 
点 第 d 种 资源 空闲 就 越 多 ， 资 源 利 用 越 不 均衡 ， 从 而 反馈 评 


分 就 越 大 。 同 样 o/c 表示 Pod 因素 的 不 均衡 性 ， 最 终 单个 物 


理 节 点 的 评分 表示 为 f=v+b。 


物理 节点 的 资源 使 用 


量 同样 可 以 用 上 


(mr deDD， 其 中 


~ 


表示 节点 i 第 d 


当前 调度 应 用 的 资源 需求 可 以 定义 为 p"， 


对 d 种 资源 的 需求 。 


b) 已 部 署 Pod 数量 空闲 率 计 竺 


。 由 于 已 部 署 pod 数量 这 


0 Pod 应 用 中 加 以 限制 和 度量 ， 也 不 确定 物理 节 


部 署 应 用 的 数量 ， 因 此 本 文 按照 如 下 


的 负载 情况 。 


其 中 : 


数量 之 和 如 
c= 人 之 pt 


应 | 


Pp; 表示 节点 i 上 己 经 部 署 的 Pod 的 数量 ， 


pod 部 署 空闲 率 ¢ 


二 


源 权重 系数 。 


定义 为 如 式 (3) 所 示 。 
_ +l 
5=0 ee) 


0) 多 维 
要 性 


一 
Ht 
2 


到 
弄 
车 
[hal 


应 用 CPU、 内 存 、 


QtQ,+ 


主 具 


要 程度 要 高 。 定 义 权 和 


有 较 大 差异 


下 系数 a,i el[1,5]、 


的 方式 定义 节点 


式 (2) 所 示 。 


(2) 


则 车 点 i 上 


G3) 


在 实际 系统 中 , 物理 节点 上 各 种 
，CPU 和 内 存 是 相对 比较 稀缺 


f) 定义 衡量 节点 不 均衡 度 的 表示 。 为 了 度量 
点 多 维 资源 空闲 率 的 负载 均衡 ， 使 用 方 
式 (9)(10) 所 示 。 


集群 中 守节 
差 作为 衡量 依据 ， 如 


u, = 上 Ok ki +(c,—c,), (9) 


(yu (10) 


用 .DR 


中 : 资源 空 


3 闲 率 的 方差 u 表 示 守节 点 资源 空闲 率 的 负载 均 


衡 ，u, 值 越 小 ， 表 示 该 节点 各 种 资源 的 空 
示 整 个 集群 的 负载 均衡 。 
3 ”FAHP 多 维 资源 自动 建 模 和 参数 求解 


本 节 首 先 详细 介绍 FAHP 建 模 流程 ， 进 而 使 用 FAHP 对 
影响 容器 调度 的 CPU、 内存 、 磁 盘 、 网络 带 宽 和 已 部 署 的 Pod 
数量 五 个 因素 进行 层次 建 模 。 然 后 自动 构建 容器 应 用 也 


闲 率 越 均衡 ，u, 表 


了 


分 别 表 示 


磁盘 、 网 络 带宽 和 已 部 署 


Qt+Q+0Qs=1。 


该 权重 系数 根据 不 同 的 应 用 


Pod 数量 负载 的 


类 型 使 


] FAHP 自动 建 模 和 求解 ， 


资源 重要 程度 来 调整 
da 资源 空 


加 


习 整 资源 调度 模型 。 


用 户 可 以 更 加 灵活 的 根据 


闲 率 模 块 表示 物理 


成 对 比 和 矩阵 ， 根 据 资 源 需 求 比例 调节 模糊 数 使 其 判断 和 矩阵 满 
足 一 致 性 检验 要 求 ， 判 断 矩 阵 最 大 特征 值 对 应 的 特征 
一 化 即 为 资源 权重 参数 。 求 解 所 得 的 资源 权重 参数 正 是 上 一 
节 中 介绍 容器 应 用 的 资源 权重 参数 w,is[5]， 使 用 这 些 参数 
作为 调度 优选 阶段 的 容器 应 用 评分 函数 多 维 资源 的 权重 ， 
> 


| 


和 v es 


空闲 资源 越 多 ， 模 块 评分 越 高 。 其 最 终 


(4) 


综合 资源 利用 率 。 
3.1 FAHP 建 模 流程 

刁 次 分 析 法 L713] (analytic hierarchy process，AHP) 是 3 
国运 筹 学 家 Saaty 提出 的 一 种 简便 、 灵 活 而 又 实用 的 多 准 贝 
权重 决策 分 析 方法 。 模 糊 层次 分 析 法 FAHP 是 AHP 在 构建 


Art 


Es 
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判断 矩阵 时 考虑 到 人 为 判断 的 模糊 性 ， 在 进行 专家 咨询 时 ， 表 2 随机 一 致 性 指标 RI 值 
往往 只 给 出 一 个 模糊 量 ， 比 如 三 值 判断 、 二 值 区 间 等 。 FAHP Table 2 Random consistency indicator RI 


了 


模糊 数 集 的 隶属 函数 有 正 态 分 布 、 梯 形 函 数 、 三 角 函数 等 。 。 RI 1 加 
本 文采 用 三 角 函数 ， 模 精 数 集 必 =(abo)a<b<e， 应 度量 函 ， 0 。 
yw yy = 3 0.58 6 1.24 

数 us R->[0,1， 其 三 角 函 数 如 式 (11) 所 示 。 3.2 FAHP 多 维 资源 权重 参数 

人 新 的 函数 评价 模型 中 ， 将 容器 应 用 需求 的 CRU、 内 存 、 

XA 磁盘 、 网 络 带宽 和 已 部 署 Pod 数 作为 影响 应 用 调度 的 因素 ， 

= se Q1) 预选 出 来 的 物理 节点 作为 部 署 方案 的 候选 节点 。 构 造 出 如 图 

pe 3 所 示 的 层次 结构 模型 ， 各 个 因素 直接 影响 方案 层 的 选择 ， 

0 x>e 是 一 个 单 层 的 模糊 层次 分 析 模型 。 目 标 层 是 需要 选择 一 个 合 

文献 [19,20] 详 细 介 绍 了 该 算法 的 建 模 和 求解 方法 ， 其 主 。 适 的 物理 主机 绑 定 应 用 ， 准 则 层 是 CPU、 内 存 、 磁 盘 、 网 络 

要 的 算法 步骤 如 下 : 带宽 和 部 署 应 用 Pod 数 ， 方 案 层 是 预选 出 来 满足 资源 需求 的 

a) 构建 模糊 成 对 比 矩阵 了。 构建 一 个 成 对 比 矩阵 ， 使 用 。 ”物理 主机 。 每 个 因素 都 对 方案 层 施加 影响 ， 是 一 个 全 层次 模 


模糊 数 Y 了 ~5 表 示 两 个 因素 的 相对 重要 程度 ， 值 越 大 表示 该 因 ”型 结构 。 通 过 这 个 模型 ， 给 不 同 的 应 用 类 型 自动 构建 模糊 成 
素 相 较 于 另 一 个 因素 越 重要 。 4 元 素 如 式 (12) 所 示 。 对 比 判 断 和 矩阵， 生成 对 应 的 判断 矩阵 ， 并 根据 判断 矩阵 自动 


1 i=j 


本 5 -| 5 0 
站 b) 求解 判断 矩阵 的 最 大 特征 值 和 特征 向 量 。 根 据 模糊 成 Goak 
(© 对 比 和 矩阵 构建 对 应 判断 和 矩阵， 并 使 用 区 间 法 求解 判断 矩阵 ， 
TT Va e[0,1]， A 履 ,=[7sw]=[(0-o)g+a,-(c-bja+c] 表 示 其 市 集 ， 
” 
全 成 对 比 判 断 和 矩阵 中 元 素 的 相对 重要 程度 、 模 糊 数 以 及 % 割 集 
二 ”关系 如 表 1 所 示 。 
a Criteria: 
©O 表 1 模糊 数 和 相对 重要 程度 以 及 Q 制 集 关系 
OO) Table ] Fuzzy numbers and corresponding importance and C cut set 
二 模糊 数 I 3 5 7 5 
2 重要 程度 ”同等 重要 稍微 重要 重要 ”比较 重要 非常 重要 
让 应 (1,1,3) (1,3,5) (3,5,7) (5,7,9) (7,9,11) 
.一 1 Alternatives:: 
~ ls 1 1+2 C 3+2 C 5+20 7+2 C 
多 所 
~" 区 让 次 3 | 屋 次 疆 入 
© u 3-20 5-20 7-2w 920¢ 1120 图 3 多 维 资源 模糊 层次 结构 
人 Fig.3 Multidimensional resource FAHP 
= 给 定 优化 参数 /表示 求解 判断 矩阵 的 优化 程度 ， 可 以 根 面 根据 容器 应 用 请 求 各 维 资源 占 节点 资源 的 比例 来 作 
OO 据 模糊 成 对 比 和 矩阵 获得 对 应 的 判断 矩阵 A， 判 断 矩 阵 A 中 的 为 该 因素 重要 性 的 依据 ， 请 求 资源 所 占 的 比例 越 大 ， 表 明 该 
三 二 a 资源 重要 性 越 高 ， 对 应 的 模糊 数 越 大 ， 实 验 中 单 台 物 理 机 的 
di 表示 为 Vu e[0,1], ao =(1- /+ 如 式 (13) 所 示 。 ee 四 
元 素 % 表示 为 Yu e[0,1] 如 式 (13) 所 示 资源 配置 如 表 3 所 示 。 
1 5 -1 表 3 单 台 物理 机 配置 
ee Table 3 Single physical machine configuration 
= 本 , € {1,3,5,7,9 
人 1 Rn 站 EG i a te CPU(M) MEM(M) Disk(G) BW(M) 
(ura ell 3 3 ,7 7} 2400 16000 1024 1000 
求解 判断 矩阵 A 的 特征 值 和 特征 向 量 。 举例 说 明 其 自动 求解 过 程 ， 假 设 某 个 容器 应 用 对 资源 的 


c) 一 致 性 检验 和 归 一 化 权重 值 。 获取 最 大 特征 值 后 需要 ”需求 和 所 占 节点 资源 的 比重 
进行 层次 单 排序 和 层次 总 排序 的 一 致 性 检验 ， 一 致 性 指标 和 ”数量 未 知 ， 该 因素 相对 其 他 资源 


如 表 4 所 示 。 节 点 已 部 署 pod 的 
源 的 重要 性 要 低 ， 可 以 用 相对 


一 致 性 比率 公式 如 式 (14) 所 示 。 最 小 的 模糊 数 表 示 该 因素 重要 程度 。 
2 表 4 某 容 器 应 用 资源 需求 
CT = 本 (4 Table 4 Container application resource configuration 
CR= CT 类 型 CPU(MD MEM(M) Disk(G) BW(M) Pod 
RI 资源 量 540 400 78 250 1 
占 比 0.225 0.025 0.075 0.4 


es 根据 容器 应 用 资源 需求 的 占 比 自动 构建 模 精 成 对 比 逢 隆 
致 性 指标 RI 的 什 如 表 2 所 示 。 当 CR<0.1 时 ， 构 建 的 判断 矩 如 式 (15) 所 示 , 行 和 列 分 别 是 CPU 内存、 磁盘 、 带 宽 和 pod， 


阵 满足 条 件 ， 否 则 需要 调整 模糊 数 ， 最 大 特征 值 对 应 的 特征 ”从 而 构建 一 个 5*5 的 方 阵 ， 根 据 式 (13) 获 得 对 应 的 判断 矩阵 
向 量 归 一 化 就 是 所 需 的 权重 。 A， 求 解 判断 矩阵 最 大 特征 值 和 特征 向 量 。 
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判断 矩阵 A 满足 一 致 性 检验 的 最 大 特征 值 对 应 的 特征 向 
量 归 一 化 的 值 就 是 所 求 的 多 维 资源 的 权重 值 。 如 果 所 求 的 特 
征 值 不 满足 一 致 性 检验 ， 需 要 微调 模糊 数 集 ， 重 新 构建 模糊 
成 对 比 矩 阵 和 对 应 的 判断 矩阵。 实验 中 取 w=0.5 以 及 优化 参 
数 4=0.5, 构建 对 应 的 判断 矩阵。 最 终 求解 的 容器 应 用 CPU、 
内 存 、 磁 盘 、 带 宽 和 已 部 署 pod 权重 参数 为 
(0.36,0.095,0.133,0.374,0.038)。 任 意 的 容器 应 用 根据 其 资源 需 
求 可 以 通过 该 方法 进行 多 维 资源 的 参数 求解 ， 可 以 构建 大 量 
的 测试 应 用 。 


4 ”实验 分 析 


本 文 的 实验 在 ContainerCloudSim?1 上 模拟 容器 云 计算 
环境 ， 在 该 平台 上 对 调度 策略 进行 仿真 实验 ， 并 在 实验 室 小 
规模 集群 上 进行 部 署 。 实 验 从 容器 云集 群 资源 利用 率 均衡 度 
和 容器 云集 群 综合 资源 利用 率 两 个 方面 对 比 OpenShift 平台 
默认 调度 , 随机 Random 调度 以 及 本 文 提 出 的 MRWS 三 种 调 
度 方式 的 优 务 。 单 台 物 理 机 的 配置 如 表 3 所 示 ， 容 器 应 用 使 
用 FAHP 对 影响 调度 的 CPU、 内 存 、 磁 盘 、 网 络 带 宽 和 已 部 
署 pod 五 个 因素 进行 建 模 。 根 据 容器 应 用 多 维 资 源 需 求 上 
自动 构建 模糊 成 对 比 和 矩阵 和 判断 矩阵 ， 通 过 微调 模糊 数 最 终 
实现 自动 求解 判断 矩阵 满足 一 致 性 检验 的 多 维 资源 权重 参 
数 。 调 度 中 设置 各 资源 的 阔 值 为 0.95， 某 个 维度 的 资源 
超过 该 闪 值 ， 该 节点 将 不 能 部 署 任何 应 用 。 首 先 构 建 N 个 用 
于 调度 容器 应 用 如 表 5 所 示 ， 其 资源 需求 模拟 容器 云 计算 中 
CPU、 内 存 、 磁 盘 和 网 络 带 宽 四 种 密集 型 应 用 。 

表 5 NN 个 容器 应 用 资源 需求 


Table 5 NN container application resource requirements 


应 用 编号 CPU(M) MEM(M) Disk(G) BW(M) Pod 
1 540 600 50 60 1 
2 150 3600 15 40 1 
3 120 800 220 20 1 
N 60 400 20 240 1 


使 用 上 一 节 中 介绍 的 自动 构建 模糊 成 对 比 矩 阵 和 判断 矩 

阵 的 方法 构建 满足 一 致 性 检验 的 判断 矩阵， 求解 判断 矩阵 的 
最 大 特征 值 和 对 应 的 特征 向 量 ， 特 征 向 量 归 一 化 值 即 为 资源 
的 权重 值 。 最 终 求解 的 表 5 中 的 NN 个 容器 应 用 对 应 的 多 维 资 
源 权 重 参 数 入 表 6 所 示 。 
表 6 NN 个 容器 应 用 资源 权重 值 


Table6 NN container application resource weight value 


应 用 编号 CPU(M) MEM(M) Disk(G) BW(M) Pod 
1 0.624 0.101 0.114 0.127 0.035 
2 0.149 0.633 0.076 0.109 0.033 
3 0.130 0.110 0.579 0.144 ”0.036 
N 0.111 0.099 0.087 0.671 ”0.042 


实验 一 设计 了 在 相同 数量 节点 不 同 应 用 数量 的 情况 下 ， 
比较 三 种 调度 方式 中 容器 云集 群 负载 均衡 度 ， 其 衡量 指标 如 
式 (9) 所 示 ， 实 验 结果 如 图 4 所 示 。 

对 图 4 的 结果 进行 分 析 发 现 ， 相 比 于 OpenShift 默认 调 
度 方式 和 Random 调度 方式 , 本 文 提出 的 MRWS 调度 方式 能 


维 资源 利用 率 均衡 调度 研究 


够 让 容器 云集 群 资源 利 


调度 方式 仅 考 
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盘 、 网 络 带宽 以 及 已 部 署 的 pod 应 用 因素 。 


点 磁盘 和 网 络 带宽 过 载 ， 


式 集群 资源 利 
率 的 问题 ， 


维度 资源 空闲 较 多 ， 而 其 他 维度 资源 过 载 。 


将 不 能 部 署 更 多 的 应 月 


均衡 性 最 差 ， 该 方式 完全 没有 考虑 资源 利用 
容易 造成 单个 节点 过 载 ， 从 而 造成 集群 资源 的 浪 


费 ， 对 集群 性 能 产生 较 大 影响 ， 降 低 了 集群 效率 。 
实验 二 设计 了 任务 数量 不 同 ， 比 较 三 种 调度 方式 容器 云 


0.14 


] 率 更 加 均衡 。 这 是 因为 OpenShift 
虑 CPU 和 内 存 资源 利用 的 平衡 性 ,没有 考虑 磁 
日 出 现 某 个 
月 ， 节 点 某 个 
Random 调度 方 


证 


5 所 示 。 
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图 4 容器 云集 群 资源 负载 不 均衡 度 


Fig.4 Container cloud cluster resource load imbalance degree 


0.75 


容器 云集 综合 资源 利用 率 


OpenShift 


400 600 


MRWS 


DRandom 


1000 1200 


图 5 容器 云集 群 综合 资源 利用 率 


集群 综合 资源 利用 率 ， 通 过 集群 中 CPU、 内 存 、 磁 盘 和 带宽 
利用 率 的 均值 来 度量 ， 实 验 结果 如 图 


= OpenShift 


Fig.5 Container cloud cluster comprehensive resource utilization 


对 图 5 的 结构 进行 分 析 ， 在 集群 规模 逢 
小 时 ，MRWS 调度 方式 优势 
集群 整体 的 资源 利 月 
Random 调度 方式 的 劣势 
维度 的 资源 过 载 ， 从 而 不 
资源 的 浪费 。OpenShift 因为 考虑 了 CPU 逢 
果 比 Random 稍 好 , 但 是 这 种 仅 考虑 CPU 逢 
会 造成 磁盘 和 网 络 带 宽 过 载 。 在 容器 云 
个 问题 ， 某 个 节点 部 署 过 多 较 小 资源 需求 的 应 用 ， 而 男 一 个 
节点 只 部 署 了 几 个 较 大 资源 的 


源 利 


， 这 也 是 考虑 


日 率 都 较 低 。 随 着 应 用 类 
于 始 显现 ， 随 机 前 
bP 轩 更 多 站 


合 忆 立 | 


BEF 


[内存 均衡 性 ， 


内 存 的 平衡 性 也 


0 容器 应 用 数量 较 
不 明显 ， 出 现 过 载 现象 较 少 ， 
量 的 不 断 增 大 ， 
了 署 会 造成 节点 某 
的 应 用 ， 造 成 该 维 


度 
效 
也 


用 率 较为 均衡 ,但 过 多 的 容器 应 月 
从 而 降低 集群 性 能 ， 因 此 容器 应 用 的 部 署 也 应 该 更 加 分 散 和 
这 已 部 署 pod 这 个 因素 的 原因 。 当 容器 应 用 


数量 达到 一 定 


利用 率 明 显 提升 ， 所 需 的 物理 
利用 率 和 集群 了 


上 会 已 
生 能 。 


后 , MRWS i 


P 同时 还 会 产生 另 一 


应 用 ， 虽 然 两 个 节点 整体 的 资 
会 造成 容器 管理 问题 ， 


由 度 方式 容器 云集 群 


资源 综合 
节点 更 少 ， 从 而 实现 提升 资源 
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结束 语 


通过 对 OpenShift 私有 容器 云 平台 自 带 调 度 方式 的 研究 ， 
针对 这 种 共享 资源 状态 调度 方式 只 考虑 CPU 和 内 存 利用 率 


MRWS 调度 。 该 方法 综合 考虑 容器 应 用 CPU、 内 存 、 磁 盘 、 


点 ， 提 出 了 一 种 改进 的 基于 多 维 资源 权重 调度 方法 


网 络 带 宽 和 Pod 数量 ， 使 用 FAHP 模糊 层次 分 析 法 对 影响 调 
度 的 因素 进行 数学 建 模 ， 根 据 容 器 应 用 对 多 维 资源 的 需求 所 


5 


E 例 自动 构建 模糊 成 对 比 矩 阵 和 判断 矩阵 ， 自 动 求解 满足 


一 致 性 检验 的 多 维 资源 权重 参数 。 然 后 定义 了 多 维 资源 的 数 
学 表示 和 物理 节点 权重 的 评分 函数 以 及 物理 节点 和 集群 资源 


利 月 


日 率 均 衡 度 的 衡量 指标 。 最 后 设计 实验 对 比 MRWS 调度 方 


式 和 OpenShift 默认 调度 方案 以 及 Random 调度 的 性 能 ,实验 
表明 新 的 调度 方案 能 够 有 效 提升 单 台 物理 机 多 维 资源 的 负载 
均衡 以 及 整个 集群 的 负载 均衡 ， 从 而 提升 整个 集群 的 性 能 和 


资源 利 


j 率 。 在 下 一 步 的 研究 中 ， 结 合 任务 的 迁移 算法 ， 需 


要 考虑 容器 云 上 容器 应 
间 聚 集 性 和 互 斥 性 、 数 ] 


对 资源 的 需求 、 网 络 QoS、 应 用 之 
居 本 地 化 、 任 务 完成 时 间 等 更 多 因素 。 


建立 以 应 用 类 型 为 导向 调度 方式 ， 进 一 步 提升 集群 的 性 能 和 
资源 利 
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